|
| |
|
|
Commented translation of a text on science and technology
Karzel, Vítězslav ; Smutný, Milan (oponent) ; Krhutová, Milena (vedoucí práce)
The goal of this Bachelor thesis is to translate and analyze a specialized text which focuses on transformers. The whole work is divided into two parts. The first part concentrates on the translation and overall preparation of the basis for the analysis which follows in the second part of the semestral thesis. The second part concentrates on the analysis of the text and all linguistic means which were used and the main task is to comment properly on selected phenomena that the analysis reveals.
|
|
|
Klasifikace vztahů mezi pojmenovanými entitami v textu
Ondřej, Karel ; Doležal, Jan (oponent) ; Smrž, Pavel (vedoucí práce)
Tato diplomová práce se zabývá extrakcí vztahů mezi pojmenovanými entitami v textu. V teoretické části práce je rozebrána problematika reprezentace přirozeného jazyka pro strojové zpracování. Následně jsou definovány dvě dílčí úlohy extrakce vztahů, a to rozpoznávání pojmenovaných entit a klasifikace vztahu mezi nimi, včetně shrnutí dnešních nejmodernějších řešení. V praktické části práce je navržen systém pro automatickou extrakci vztahů mezi pojmenovanými entitami ze stažených webových stránek. Model pro klasifikaci vztahů mezi entitami je založen na předtrénovaném modelu sítě typu transfomers. V práci jsou porovnány čtyři předtrénované modely, a to BERT, XLNet, RoBERTa a ALBERT.
|
|
|
Multilingual Open-Domain Question Answering
Slávka, Michal ; Dočekal, Martin (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores automatic Multilingual Open-Domain Question Answering. In this work are proposed approaches to this less explored research area. More precisely, this work examines if: (i) utilization of an English system is sufficient, (ii) multilingual models can benefit from a translated question into other languages (iii) or avoiding translation is a better choice. English system based on the T5 model that uses a machine translation is compared to natively multilingual systems based on the multilingual MT5 model. The English system with machine translation only slightly outperforms its monolingual counterparts in multiple tasks. Compared to multilingual models, the English system was trained on a much larger dataset, but the results were comparable. This shows that the use of natively multilingual systems is a promising approach for future research. I also present a method of retrieving multilingual evidence using the BM25 ranking algorithm and compare it with English retrieval. The use of multilingual evidence seems to be beneficial and improves the performance of the systems.
|
|
|
Vision Transformery pre vstavané platformy
Nemčeková, Barbora
Tato práce se zabývá zkoumáním Transformerů vidění pro úlohu klasifikace obrazu, jejich optimalizaci, a nasazení na vybrané vestavěné zařízení. Na vybraných vestavěných zařízení se doposud pro klasifikaci obrazu používaly konvoluční neuronové sítě, avšak s revolucí ve zpracování přirozeného jazyka vznikl zájem o zkoumání transformerů i pro úlohy počítačového vidění. Práce experimentuje s různými druhy kvantizace modelů, jako je int8 kvantizace, int16x8 kvantizace, dynamická kvantizace a SmoothQuant metoda. Výsledky ukazují, že ne všechny transformery vidění je možné kvantizovat s dostatečnou přesností, a to ani při použití specializované metody SmoothQuant. Taktéž se ukázalo, že kvantizovaný transformer model není možné akcelerovat na NPU vybraných zařízení. Ze zkoumaných faktorů, jako je přesnost po optimalizaci modelu, latence a využití paměti na vestavěném zařízení, konvoluční neuronové sítě stále převyšují modely transformerů.
|
|
|
Document Information Extraction
Janík, Roman ; Špaňhel, Jakub (oponent) ; Hradiš, Michal (vedoucí práce)
With development of digitization comes the need for historical document analysis. Named Entity Recognition is an important task for Information extraction and Data mining. The goal of this thesis is to develop a system for extraction of information from Czech historical documents, such as newspapers, chronicles and registry books. An information extraction system was designed, the input of which is scanned historical documents processed by the OCR algorithm. The system is based on a modified RoBERTa model. The extraction of information from Czech historical documents brings challenges in the form of the need for a suitable corpus for historical Czech. The corpora Czech Named Entity Corpus (CNEC) and Czech Historical Named Entity Corpus (CHNEC) were used to train the system, together with my own created corpus. The system achieves 88.85 F1 score on CNEC and 87.19 F1 score on CHNEC, obtaining new state-of-the-art results.
|
|
|
Analýza entit v psychoterapeutických sezeních
Polok, Alexander ; Karafiát, Martin (oponent) ; Matějka, Pavel (vedoucí práce)
Tato práce se zabývá analýzou psychoterapeutických sezení v rámci výzkumného projektu DeePsy. Jejím cílem je navrhnout a vytvořit sadu příznaků modelujících průběh sezení, jež mohou odhalit na první pohled nepatrné nuance. Zmíněné příznaky jsou automaticky extrahovány ze zdrojové nahrávky s využitím hlubokých neuronových sítí. Příznaky jsou zpracovány, porovnány napříč sezeními a graficky zobrazeny, čímž vzniká dokument plnící roli zpětné vazby o sezení pro terapeuta. Tato zpětná vazba může posloužit k profesnímu růstu a kvalitnější psychoterapii v budoucnu. Bylo dosaženo relativního zlepšení detekce řečové aktivity o 37,82 %. Byl zobecněn diarizační systém VBx ke konvergenci ke dvěma mluvčím s minimálním relativním zhoršením chybovosti o 0,66 %. Byl natrénován systém pro automatické rozpoznávání řeči, jehož chybovost je o 17,06 % relativně lepší než nejlepší dostupný hybridní model. Dále byly natrénovány systémy pro klasifikaci sentimentu, typu terapeutických intervencí a detekci překrývající se řeči.
|
|
|
Designing a Multilingual Fact-Checking Dataset from Existing Question-Answering Data
Kamenický, Daniel ; Aparovich, Maksim (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis adresses the lack of multilingual fact-Checking datasets, which contain annotated evidence grounding the supporting or refuting verdict for a fact. Therefore, this work explores the conversion into the fact-checking dataset from an already existing question-answering dataset. In this work, two approaches for converting question-answer pairs into claims are studied. The first approach is to create a dataset based on a monolingual pre-trained seq-2-seq model T5. The model is trained on an English dataset and the inputs and outputs are translated into the desired languages. The second approach is to use the multilingual mT5 model, which can take input and generate output in the desired language. For multilingual model, training datasets need to be translated. The main problem of this work is the machine translation, which achieved around 30 % success rate in a low-resource languages. The experiments showed better results for claims generated from monolingual model using machine translation. On the other hand, the claims generated from multilingual model achieved a success rate of 73 % compared to monolingual model with a success rate of 88 %. Finally, to analyze possible biases label specific claim biases, a logistic-regression based TF-IDF classifier is trained. The classifier, that computes the probability of the claim's veracity just from itself achieves accuracy close to 0.5 for both converted datasets. Thus the converted datasets can be challenging for fact-checking models.
|
|
|
Relation Extraction from Text
Královič, Kristián ; Ondřej, Karel (oponent) ; Smrž, Pavel (vedoucí práce)
This bachelor thesis focuses on the extraction of semantic relations between named entities in natural text using learning with a small number of supporting examples. The theoretical part of the thesis introduces methods for natural language representation using dense vectors and named entity recognition. Next, deep learning based approaches for semantic relation extraction are described. The theoretical part also includes a description of learning with a small number of training examples in the context of semantic relation extraction In the implementation part, a system for extracting semantic relations from text has been proposed. The system uses pairwise classifiers based on pre-trained language models like transformers to classify the relations. For the purpose of this work, the ELECTRA-PAIR, RoBERTa-PAIR and BERT-PAIR models were trained. In the experimental part of the thesis, these models are evaluated over different datasets. The experimental part also includes experiments aimed at classifying more complex semantic relations.
|
|
|
Umělá neuronová síť pro rekonstruování vymřelých druhů
Pešek, David ; Bilík, Šimon (oponent) ; Jirsík, Václav (vedoucí práce)
Tato práce se zabývala navrhnutím, naučením a zhodnocením umělé neuronové sítě pro rekonstrukci vymřelých živočišných druhů. Nejprve byl vybrán hlavní prvek navrhované UNS, tedy generativní model. Vzhledem k jejich výborným výsledkům v poli generování obrázků se odůvodněně jevila třída difúzních modelů jako správná volba. Konkrétně byl vybrán difúzí model Stable diffusion. Jeden z počátečních kroků práce bylo také vytvořit trénovací množinu pro navrhovaný model. K obrázkům živočichů bylo potřeba napárovat nějaké popisky, podle kterých by se dal živočich identifikovat. K tomuto účelu byly využity geny cyklooxygenázy-1 daných živočichů. Dále byl použit sekvenční transformátorový model GPT-2, který je naučen na trénovací množině lidského přirozeného jazyka. Tento model byl použitý pro zakódování DNA sekvencí do vektorové podoby, ve které byla zachycena sémantika a kontext mezi jednotlivými částmi DNA sekvence. Modely by bylo velmi složité učit od začátku kvůli velké potřebné velikosti trénovací množiny a výpočetní a časové náročnosti. GPT-2 model byl tedy pouze doučen na trénovací množině DNA sekvencí řádu pěvců a samotný difúzní model byl naučen na párech obrázků těchto živočichů a DNA sekvencí zakódovaných pomocí GPT-2 modelu. Pro generování obrázků byly pomocí GPT-2 generovány originální DNA sekvence, které se podobaly sekvencím z trénovací množiny. Následně bylo zakódování těchto sekvencí předáno difúznímu modelu, který vytvořil samotné obrázky. Metoda generování nových DNA sekvencí pomocí GPT-2 modelu stojí na myšlence, že vygenerovaná DNA sekvence se částečně podobá DNA sekvencím z trénovací množiny. Takto experimentálně vygenerované DNA sekvence se mohou podobat DNA sekvencím vymřelých předků nebo příbuzných řádu pěvců. Model byl schopný v části případů vygenerovat takové obrázky, které lze na pohled považovat za živočišný druh, ale je nutno konstatovat, že vygenerované obrázky často nešlo považovat za rekonstrukce živočichů. Úspěšnost vygenerování obstojného obrázku živočicha byla přibližně 10%. Funkčnost modelu byla testována i na testovací množině DNA sekvencí živočichů několika řádů, které spadají pod třídu ptáků stejně jako řád pěvců. Úspěšnost vygenerování rekonstrukce, kterou bylo možné porovnávat s fotografií se pohybovala okolo 15%.
|
host ::
RSS.